Will Scaling Improve Social Simulation with LLMs?
扩展会改善基于LLM的社会模拟吗?
🧭 社会模拟扩展定律评估
Stanford University · Open Athena
发现LLM社会模拟在多数任务上随规模改善,但行为偏差校准等任务不随扩展改善
📌 工作参考价值(4 点)
- 1. 当用LLM模拟用户行为(如点击、购买)做离线评估时,扩大模型可提升主流用户群的模拟准确度,但小众群体或风险偏好等认知偏差校准不会随规模改善,需额外校准或引入心理学模型。
- 2. 纵向用户兴趣预测扩展缓慢,若用于推荐系统中的长期用户建模,应结合真实行为序列,不宜单纯依赖大模型模拟。
- 3. 可利用本文的分层评估思路:对多数群体用大模型模拟生成训练数据,对少数群体做针对性数据增强或微调。
- 4. 行为模拟中的认知偏差问题提示:大模型未必自然具备人类的非理性决策(如从相关任务学习奖励),在强化学习环境或Agent模拟中需显式设计偏差机制。